智慧應用 影音

一文導覽AWS CEO Matt Garman於 re:Invent 的主題演講:掌握重大發布與關鍵洞察

  • DIGITIMES / 台北
  • 2025-12-03 00:00:00
AWS重新塑造雲端技術未來:四大核心要素與領先Agent
2025 AWS re:Invent全球大會進入第二天議程。AWS執行長Matt Garman發表題為《AWS如何重新塑造雲端技術未來的主題演講,系統闡述了建構AI Agent所需的四大核心要素:AI基礎設施、推論系統、資料、Agent建構工具。他隆重發布了開創性的Amazon Nova2系列基礎模型,以及三大「領先Agent」(亦稱為前沿Agent):Kiro Autonomous Agent、Amazon Security Agent、Amazon DevOps Agent,並宣布25項雲端核心服務的重大創新,進一步拉大技術差距,鞏固AWS在全球雲端運算與AI領域的絕對領導地位。
圖說:AWS執行長 Matt Garman 發表題為《AWS如何重新塑造雲端技術未來的主題演講。
建構AI Agent的四大核心要素
在會議開始時,Matt Garman首先闡釋了他對AI趨勢的理解。他表示,Agentic AI技術正處於關鍵轉捩點,從「技術奇蹟」轉變為能提供實際業務價值的實用工具。他預測未來將有數十億Agent在各行各業廣泛運行,幫助企業實現10倍效率提升。而要讓Agent真正發揮作用,需要四大核心要素的堅實支援。
圖說:建立AI Agent的四大核心要素。
01.AI基礎設施:提供強大且具成本效益的運算能力
Amazon Trainium晶片系列突破性進展
Matt Garman宣布正式發布Amazon Trainium3 Ultra Servers,這是AWS首款搭載3奈米製程AI晶片的伺服器。它比Amazon Trainium2提供4.4倍運算能力、3.9倍記憶體頻寬和5倍每兆瓦AI token處理量。伺服器最高配置144個晶片,提供驚人的362 petaflops FP8運算能力。在執行OpenAI的GPT-OSS-120B模型時,每兆瓦輸出token數是Amazon Trainium2的5倍以上,實現超高能源效率比。
圖說:Matt Garman宣布正式發布Amazon Trainium3 Ultra Servers.
更令人振奮的是,Matt Garman首次披露了Amazon Trainium4晶片,承諾將實現較Amazon Trainium3六倍的FP4運算效能、四倍記憶體頻寬和兩倍高記憶體容量,持續鞏固AWS在AI晶片領域的長久領先地位。目前,AWS已完成超100萬個Trainium2晶片的大規模部署,為Amazon Bedrock中大部分推論工作提供核心運算能力支援,包括Claude最新一代模型的高效運行。
圖說:Matt Garman首次披露了Amazon Trainium4晶片。
GPU領域的深度合作與創新
AWS與NVIDIA合作已達15年,是業界最早在雲端提供NVIDIA GPU服務的廠商。Matt Garman特別強調,AWS在GPU叢集穩定性方面的表現遠超產業其他供應商。透過深入細節優化(例如除錯BIOS以預防GPU重新啟動)和對每個問題進行根本原因分析,AWS確保為客戶提供業界卓越的GPU運行穩定性。新發布的P6e-GB300實例搭載NVIDIA最新GB NVL72系統,為最具挑戰性的AI工作負載提供支援。OpenAI在AWS上執行ChatGPT,使用數十萬晶片的Amazon EC2 Ultra伺服器叢集,可擴展至超過千萬CPU。
Amazon AI Factories:突破資料主權限制
受與沙烏地阿拉伯Neom新創公司合作啟發,AWS推出開創性的Amazon AI Factories服務。這項服務允許在客戶自有資料中心部署AWS專用AI基礎設施,運行體驗與AWS公有雲區域一致。它利用客戶現有的資料中心空間和電力,存取最新Amazon Trainium Ultra Servers或NVIDIA GPU,使用Amazon SageMaker和Amazon Bedrock服務,同時滿足嚴格的法規遵循和資料主權要求。這為無法將資料遷移到雲端的客戶提供了完美解決方案。
客戶案例:Vialet的科學突破
生物技術公司Vialet利用AWS強大的AI基礎設施訓練「科學多面手」AI,已處理數兆科學推論token,預計未來幾年成長100倍。透過AI自主提出假設、設計並執行實驗,Vialet正在加速藥物開發和新材料發現,展現了強大AI基礎設施如何推動科學突破。
02. 推論系統:提供廣泛的模型選擇與極佳成本效益
Amazon Bedrock的全面擴展
Amazon Bedrock幫助客戶快速將生成式AI應用從原型轉為生產環境。Amazon Bedrock使用者數量比去年同期成長一倍以上,超過50個客戶已處理超過1兆個token。Amazon Bedrock提供廣泛的模型選擇、基於使用情境客製化模型、整合資料工具、添加安全護欄,以及與AWS現有服務和資料的深度整合。
第三方模型體系持續豐富
Matt Garman宣布Amazon Bedrock新增Google Gemma、MiniMax M2、NVIDIA Nemotron、KIMI開源權重模型。同時提供全新發布的Mistral3系列,包括Mistral Large,其參數量增加5倍以上、上下文視窗大小是Large2的兩倍,提供從超高效邊緣設備到單GPU部署到進階本地的靈活操作。
圖說:Matt Garman宣布Amazon Bedrock新增Google Gemma、MiniMax M2、NVIDIA Nemotron、KIMI開源權重模型
Amazon Nova2系列:成本效益的突破
MattGarman隆重發布Amazon Nova2系列,包括四大模型:
  • Amazon Nova2 Lite:快速、高成本效益的推論模型,在指令遵循、工具呼叫、程式碼生成、文件資訊提取方面表現出色,效能媲美Claude Haiku4.5、GPT-5 Mini和Gemini2.5 Flash。
  • Amazon Nova2 Pro:處理高度複雜工作負載的智慧推論模型,在指令遵循和智慧工具使用方面超越GPT-5.1、Gemini3 pro等領先模型。
  • Amazon Nova2 Sonic:下一代語音到語音模型,提供產業領先的對話品質,改進延遲,大幅擴展語言支援。
  • Amazon Nova2 Omni:業界首個真正統一的多模態模型,支援文字、影像、影片、音訊輸入,並支援文字和影像輸出。例如可以理解整個會議內容(演講者語言、幻燈片、影片),生成包含文字和影像的摘要。
圖說:Amazon Nova 2.
圖說:Amazon Nova 2 Lite.
圖說:Amazon Nova 2 Pro.
圖說:Amazon Nova 2 Sonic.
圖說:Amazon Nova 2 Omni.
客戶案例:Greatdeal的內容營運創新
行銷與內容營運公司Greatdeal面臨將創意構思轉化為網站內容需4到6週、涉及20多個步驟和多個專業角色的挑戰。透過使用Amazon Bedrock和Amazon Nova建構編排Agent,組合使用不同子Agent(編寫、設計、網站等),顯著加速內容生產流程,提供更高轉換率的內容。
03. 資料:讓企業獨有資料成為AI競爭優勢
資料與模型整合的限制
第三方模型無法深度適應企業特定業務資料,且企業專有資料不能嵌入公共可用模型。現有解決方案存在明顯限制:RAG和向量資料在推論時提供上下文效果有限;從頭建構模型成本高、資料不足、專業知識要求高;微調開放權重模型難以掌握新領域知識,容易「遺忘」之前學到的能力。
Amazon Nova Forge:開創性的「開放訓練模型」
Matt Garman宣布推出開創性的Amazon Nova Forge,引入「開放訓練模型」概念。Amazon Nova Forge提供Amazon Nova訓練檢查點的獨家存取權,允許在模型訓練的每個階段混合企業專有資料與AWS建立的訓練資料集。產出的模型深度理解企業資訊,同時保留核心能力。
工作流程包括:從80%預訓練的Amazon Nova2 Light檢查點開始,混合企業資料與AWS訓練資料集,使用提供的配方完成預訓練,使用遠端獎勵函數和強化微調進一步改進,最後將模型匯入Amazon Bedrock運行推論。例如,硬體製造商可詢問設計A與設計B的優劣,獲取基於公司歷史結果、製造約束和客戶偏好的具體回答。
圖說:Matt Garman宣布推出開創性的Amazon Nova Forge。
客戶案例:Reddit的內容審核突破
Reddit需要在多個安全維度審核聊天和搜尋內容。微調現有模型無法達到所需效能,若嘗試使用多個模型處理不同安全維度,則過於複雜且無法達到社群特定要求的準確度。使用Amazon Nova Forge將專有領域資料整合到預訓練階段後,首次生產出同時滿足準確性和成本效益目標的專屬模型,部署和營運更簡單,且自然結合了通用語言理解能力和社群特定知識,精準匹配情境需求。
客戶案例:Sony的資料海洋與AI轉型
Sony建構Sony Data Ocean,利用AWS每天處理來自500多個資料源的760TB資料。使用Amazon Bedrock建構企業大型語言模型,自推出2年來擁有57,000使用者,每天處理150,000個推論請求。將Amazon Bedrock Agent Core置於Agentic AI系統中心,輕鬆管控、部署和管理更有用的Agent能力。微調Amazon Nova2.0 Lite模型,在參考一致性和文件對應方面超越基準模型,目標將Sony合規審查和評估流程效率提高100倍。
04. Agent建構工具:提供完整系統支援企業級Agent
Amazon Bedrock Agent Core:全面增強
Amazon Bedrock Agent Core使企業能夠規模化安全建構、部署和營運Agent。在模組化的設計理念下,客戶可根據需要選擇組件。核心組件包括:安全Serverless Runtime(Agent在完全會話隔離中運行)、Agent Core Memory(處理短期和長期記憶)、Agent Core Gateway(Agent輕鬆發現並安全連接工具、資料和其他Agent)、Agent Core Identity(提供安全身份驗證)、Agent Core Observability(即時查看已部署Agent工作流程)、基礎工具集(包括程式碼解釋器和代管瀏覽器服務)。
系統具有高度開放性:支援多種框架(Crew AI、LlamaIndex、LangChain Strands Agent);支援任何模型(Amazon Bedrock模型、OpenAI GPT、Google Gemini等);私有安全部署在Amazon VPC內;擴展至數千個會話;部署迅速,透過拖放幾行程式碼實現一分鐘內部署。
Agent Core Policy:即時確定性控制的突破
如何在賦予Agent自主性的同時確保可預測行為?Agent Core Policy提供Agent與企業工具和資料交互的即時確定性控制。使用自然語言定義策略(例如「阻止退款金額超過$1000的所有客戶退款」),將提示轉換為Cedar(基於自動推論的開源語言),部署至Agent Core Gateway,以毫秒級速度評估所有Agent操作。在Agent與所有資料、API和工具之間提供策略評估,確保行為可預測可控。
Agent Core Evaluations:持續品質保證
Agent Core Evaluations幫助開發人員持續檢查基於真實行為的Agent品質。提供13個預覽評估器,涵蓋常見品質維度;支援創建自訂評分系統;在測試階段評估Agent,在部署前修正問題;在生產環境中快速發現品質下降。結果顯示在CloudWatch中,自動化專業知識和基礎設施繁重工作,讓所有人都能存取並持續改進Agent品質。
圖說:Amazon Bedrock AgentCore.
圖說:Amazon Bedrock AgentCore.
圖說:AgentCore Policy.
圖說:AgentCore Evaluations.
落實Agent價值
AI Agent能夠代表使用者執行任務並進行自動化工作。這正是我們開始看到AI投資帶來實質性商業回報的地方。Matt Garman:「我相信AI Agent的出現已經將我們帶到了AI發展軌跡的轉捩點——它正在從技術奇蹟轉變為能夠交付真正價值的東西」。 這一變化將對您的業務產生與網際網路或雲端運算同等的影響。我相信在未來,每家公司內部將有數十億個Agent,遍布各個可以想像的領域」。AWS已看到Agent在加速醫療保健發現、改善客戶服務、提高薪資處理效率方面的應用。在某些情況下,Agent已經開始將人們的影響力擴大十倍。
圖說:落實Agent價值。
要真正發揮Agent的價值,我們需要具備全面能力的企業AI工具支援」。他重點介紹了兩項關鍵工具:
01. 企業AI工具的全面能力
Amazon Quick:企業AI助手實現10倍效率提升
Amazon Quick的目標是為每位員工提供他們在消費級AI中已經開始接受的那種體驗,但配備企業所需的上下文、資料和安全性。其關鍵特點是全面的資料整合能力,整合結構化資料(BI資料、資料庫、資料倉儲)、應用程式資料(Microsoft365、Jira、ServiceNow、HubSpot、Salesforce)、非結構化資料(個人文件、SharePoint檔案、Google Drive、Box檔案等)。
圖說:Amazon Quick.
Amazon Quick提供三大核心功能:豐富的BI(商業智慧)能力,輕鬆跨所有結構化和非結構化資料源發現洞察;深度研究功能,調查複雜主題,從內部資料儲存庫和網際網路外部源收集資訊,生成詳細研究報告;Quick Flows,創建個人小型Agent,自動化日常重複任務,提高個人和團隊效率。
幾個月前,AWS在內部發布了Amazon Quick Suite,如今已有數十萬使用者。團隊回報完成任務的時間是原來的1/10。AWS稅務團隊建構了一個Amazon Quick Agent,幫助他們整合所有稅務資料來源、獲取稅務專案資料、稽核資料、網際網路上的細節,對任何稅法或政策變更執行深度研究,並在單一視圖中呈現所有這些稅務資訊——這些都是非開發人員完成的,他們無需編寫任何程式碼或手動拉取任何報告就能做到。
Amazon Transform Custom:消除科技債的開創性工具
科技債每年在美國造成約2.4兆美元的成本,70%的IT預算用於維護遺留系統。Amazon Transform Custom讓客戶能夠創建自訂程式碼轉換Agent,以現代化任何程式碼、API、框架或Runtime,甚至包括僅在公司內部使用的程式語言或框架。雲端ERP解決方案提供商QAD使用Amazon Transform後,原本至少需要2週完成的轉換工作在不到3天內完成,顯著加速了客戶的現代化進程。
02. 三大領先Agent:開發人員工具的開創性突破
改變每個人業務的最大機遇之一就是Agent。Agent令人興奮,因為它們可以採取行動並完成任務。它們可以動態推論,並以最佳方式創建工作流程來解決問題,而無需您預先編寫程式。領先Agent具有三個關鍵特徵:自主性(朝目標前進並自行決定如何實現)、大規模可擴展(單個Agent可執行多任務,同時支援跨多個實例分配工作)、長時運行(可工作數小時甚至數天,無需人工干預)。
圖說:三大領先Agent:開發人員工具的開創性突破。
Kiro Autonomous Agent:變革軟體開發方式
Kiro Autonomous Agent變革開發人員和團隊建構軟體的方式,大幅提升開發能力。它與開發流程並行運行,保持上下文並自動化開發任務。自主完成從功能交付到錯誤分類到改進程式碼覆蓋率的全部工作。與Jira、GitHub、Slack等現有工具連接。學習團隊工作方式,持續深化對程式碼、產品和團隊標準的理解。
在跨儲存庫更新情境中,傳統方式需要在15個不同微服務中逐一打開程式碼庫,提示更新、審查變更、執行測試、創建提取請求。Kiro方式:在kiro.dev啟動與GitHub關聯的任務,描述問題後Agent提出澄清問題並規劃任務,利用對整個程式碼庫的瞭解識別需要更新的所有位置,分析每個服務如何使用函式庫,遵循現有模式更新程式碼,執行測試並開啟15個經過測試、準備合併的提取請求。內部案例顯示6人團隊在76天內完成原計畫30人18個月的專案。
Amazon Security Agent:從設計階段建構安全應用
從設計階段開始建構安全應用,在加速開發同時確保安全性。主動審查設計文件,在編寫程式碼前發現安全問題。識別程式碼中的漏洞。直接整合GitHub提取請求,在開發工作流程中提供回饋。將緩慢昂貴的滲透測試轉變為隨選實踐。避免因安全問題導致的程式碼重寫,無需昂貴的外部顧問,允許更頻繁地進行安全驗證。
Amazon DevOps Agent:主動預防營運事件
解決和主動預防事件,持續提高可靠性和效能。像經驗豐富的DevOps工程師一樣調查事件並識別營運改進。從資源、關係、現有可觀察性解決方案、操作手冊、程式碼庫和CI/CD管道學習。關聯所有來源的遙測、程式碼和部署資料。 在身份驗證錯誤處理情境中,當警報觸發顯示Lambda函數連接資料庫時身份驗證錯誤率升高,DevOps Agent在值班工程師查看前立即回應,診斷問題,利用應用程式拓撲知識和組件關係理解追溯警報找出根本原因,確定問題是Lambda函數IAM策略變更導致,找出引入變更的CDK程式碼部署,提出修復並準備供值班工程師核准,推薦CI/CD護欄防止類似問題再次發生。
這些領先Agent正在將AI從技術展示轉變為真正的生產力工具,幫助企業實現10倍效率提升,迎接AI Agent時代的無限可能。
25項雲端核心服務重大創新
延續AWS「建構單元」理念,Matt Garman快速發布了25項雲端核心服務創新,涵蓋運算、儲存、資料庫等領域:
圖說:25項雲端核心服務重大創新。
運算服務創新
  • X系列大記憶體實例搭載客製化Intel Xeon6處理器,提供50%更多記憶體,適用於SAP HANA、SQL Server、EDA應用程式。
  • C8a實例基於最新AMD EPYC處理器,效能提升30%,適用於批次處理、遊戲等CPU密集型應用程式。
  • C8ine實例搭載客製化Intel Xeon6處理器,使用最新Nitro V6卡,每vCPU提供2.5倍更高的封包處理效能,適用於安全和網路應用程式。
  • M8azn實例擁有AWS實例中最高CPU時脈頻率,適用於多人遊戲、高頻交易、即時資料分析。
  • EC2 M3 Ultra Mac和M4 Max Mac實例搭載最新Apple硬體,用於建構、測試、簽署Apple應用程式。
  • Lambda durable functions允許在Lambda函數中直接編寫程式碼等待時間,管理狀態、建構長時運行工作負載,內建錯誤處理和自動恢復。
儲存服務突破
  • Amazon S3物件大小上限從5TB增加到50TB(增加10倍),適用於處理超大資料檔案。
  • Amazon S3批次處理操作速度提升10倍。
  • Amazon S3 Tables Intelligent Tiering為S3 Table儲存貯體中的資料自動節省高達80%儲存成本。
  • Amazon S3 Tables Cross-Region Replication自動複寫S3 Table到其他AWS區域和帳戶,確保從任何地方獲得一致的查詢效能。
  • Amazon S3 Access Points支援FSx for NetApp ONTAP,擴展S3存取點以包括NetApp ONTAP支援,讓NetApp客戶能像存取S3一樣無縫存取資料。
  • Amazon S3 Vectors正式發布,原生支援儲存和查詢向量的雲端物件儲存,在單個S3儲存貯體中儲存數兆級向量,降低儲存和查詢成本90%。
  • OpenSearch vector index GPU加速,使用GPU索引資料,速度提升10倍,成本降低至1/4。
資料庫服務升級
  • Amazon RDS for SQL Server和Oracle儲存容量從64TB增加到256TB,I/OPS和IO頻寬提升4倍,更易遷移現有工作負載並在AWS上擴展。
  • Amazon SQL Server資料庫實例可指定vCPU數量,幫助減少來自Microsoft的每CPU授權成本。
  • 支援Amazon SQL Server Developer Edition,無需授權費用建構和測試應用程式。
  • Database Savings Plans在所有資料庫服務使用中節省高達35%。
其他關鍵服務
  • Amazon EMR Serverless無需預先佈建本地儲存,消除為Amazon EMR Serverless叢集預先佈建和管理本地儲存的需要。
  • Amazon GuardDuty Extended Threat Detection將進階威脅偵測能力擴展到Amazon ECS容器,所有GuardDuty客戶無需額外成本即可使用。
  • Amazon Security Hub正式發布新增功能包括近即時風險分析、趨勢儀表板、簡化定價模型。
  • CloudWatch Unified Data Store用於所有營運、安全和法規遵循資料。它自動從AWS和第三方收集日誌資料,儲存在Amazon S3或S3 Table中,便於查找問題和獲取洞察。
重大業務成就:見證雲端運算領導者地位
Matt Garman展示了AWS驚人的業務成就:達到1,320億美元規模,同比增長20%(過去12個月增長約220億美元,超過財富500強一半企業的年收入);Amazon S3儲存超過500兆個物件,每秒處理超過2億次請求;超過一半的CPU容量來自Amazon Graviton處理器;Amazon Bedrock服務10萬家公司,超過50個客戶已處理超過1兆個token;Amazon Bedrock Agent Core SDK下載量超過200萬次。
展望Agentic AI時代的無限可能
Matt Garman總結道,我們正處於一個前所未有的時代,AI Agent技術將徹底改變企業營運方式。AWS透過從晶片到模型到Agent的全棧式創新,為客戶提供建構AI Agent所需的四大核心要素。 隨著Kiro Autonomous Agent、Amazon Security Agent和Amazon DevOps Agent——這三大領先Agent的問世,開發人員將獲得前所未有的生產力提升。配合25項雲端核心服務的重大創新,AWS正在幫助客戶實現AI的真正價值。隨著數十億Agent在各行各業運行,企業將實現10倍效率提升,迎接AI Agent時代的無限可能。
關鍵字
大家都在看